With the success of Vision Transformers (ViTs) in computer vision tasks, recent arts try to optimize the performance and complexity of ViTs to enable efficient deployment on mobile devices. Multiple approaches are proposed to accelerate attention mechanism, improve inefficient designs, or incorporate mobile-friendly lightweight convolutions to form hybrid architectures. However, ViT and its variants still have higher latency or considerably more parameters than lightweight CNNs, even true for the years-old MobileNet. In practice, latency and size are both crucial for efficient deployment on resource-constraint hardware. In this work, we investigate a central question, can transformer models run as fast as MobileNet and maintain a similar size? We revisit the design choices of ViTs and propose an improved supernet with low latency and high parameter efficiency. We further introduce a fine-grained joint search strategy that can find efficient architectures by optimizing latency and number of parameters simultaneously. The proposed models, EfficientFormerV2, achieve about $4\%$ higher top-1 accuracy than MobileNetV2 and MobileNetV2$\times1.4$ on ImageNet-1K with similar latency and parameters. We demonstrate that properly designed and optimized vision transformers can achieve high performance with MobileNet-level size and speed.

解决了与人类偏好的安全一致性以及学习效率之类的各种目的，越来越多的强化学习研究集中在依赖整个收益分配的风险功能上。关于\ emph {Oplicy风险评估}（OPRA）的最新工作，针对上下文匪徒引入了目标策略的收益率以及有限样本保证的一致估计量，并保证了（并同时保留所有风险）。在本文中，我们将OPRA提升到马尔可夫决策过程（MDPS），其中重要性采样（IS）CDF估计量由于有效样本量较小而遭受较长轨迹的较大差异。为了减轻这些问题，我们合并了基于模型的估计，以开发MDPS回报的CDF的第一个双重鲁棒（DR）估计器。该估计器的差异明显较小，并且在指定模型时，可以实现Cramer-Rao方差下限。此外，对于许多风险功能，下游估计值同时享有较低的偏差和较低的差异。此外，我们得出了非政策CDF和风险估计的第一个Minimax下限，这与我们的误差界限到恒定因子。最后，我们在几种不同的环境上实验表明了DR CDF估计的精度。

我们研究具有度量状态和行动空间的确定性马尔可夫决策过程（MDP）的政策优化问题，我们称为公制策略优化问题（MPOPS）。我们的目标是建立有关MPOP的适当性的理论结果，这些结果可以表征实际相关的连续控制系统。为此，我们定义了一类称为紧凑型MPOPS（CR MPOPS）的特殊类MPOP，它们足够灵活，可以捕获机器人系统的复杂行为，但特定于使用动态编程方法（例如Value Iteateration）允许解决方案。我们展示了如何使用前向不变性到达CR-MPOP。我们进一步表明，我们对CR-MPOP的理论结果可用于表征反馈可线化的控制仿射系统。

标准均匀收敛导致在假设类别上预期损失的概括差距。对风险敏感学习的出现需要超出预期损失分布的功能的概括保证。虽然先前的工作专门从事特定功能的均匀收敛，但我们的工作为一般的H \'较旧风险功能提供了统一的收敛，累积分配功能（CDF）的亲密关系（CDF）需要接近风险。我们建立了第一个统一的融合估计损失分布的CDF的结果，可以保证在所有H \“较旧的风险功能和所有假设上）同时保持。因此，我们获得了实现经验风险最小化的许可，我们开发了基于梯度的实用方法，以最大程度地减少失真风险（广泛研究的H \'H \'较旧风险涵盖了光谱风险，包括平均值，有条件价值，风险的有条件价值，累积前景理论风险和累积前景理论风险，以及其他）并提供融合保证。在实验中，我们证明了学习程序的功效，这是在均匀收敛结果和具有深层网络的高维度的设置中。

我们研究汤普森采样对上下文匪徒的效率。现有的基于汤普森采样的算法需要构建后验分布的拉普拉斯近似（即高斯分布），这是在一般协方差矩阵中的高维应用中效率低下的效率。此外，高斯近似可能不是对一般奖励产生功能的后验分布的良好替代物。我们提出了一种有效的后采样算法，即Langevin Monte Carlo Thompson采样（LMC-TS），该采样（LMC-TS）使用Markov Chain Monte Carlo（MCMC）方法直接从上下文斑块中的后验分布中直接采样。我们的方法在计算上是有效的，因为它只需要执行嘈杂的梯度下降更新而不构建后验分布的拉普拉斯近似。我们证明，所提出的算法实现了相同的sublinear遗憾，作为一种特殊情况的汤普森采样算法，是上下文匪徒的特殊情况，即线性上下文的强盗。我们在不同上下文匪徒模型上对合成数据和现实世界数据集进行实验，这表明直接从后验进行采样既具有计算上有效又具有竞争性能。

汤普森采样（TS）是在不确定性下进行决策的有效方法，其中从精心规定的分布中采样了动作，该分布根据观察到的数据进行更新。在这项工作中，我们研究了使用TS的可稳定线性季度调节剂（LQR）自适应控制的问题，其中系统动力学是未知的。先前的作品已经确定，$ \ tilde o（\ sqrt {t}）$频繁的遗憾对于LQR的自适应控制是最佳的。但是，现有方法要么仅在限制性设置中起作用，需要先验已知的稳定控制器，要么使用计算上棘手的方法。我们提出了一种有效的TS算法，用于对LQR的自适应控制，TS基于TS的自适应控制，TSAC，该算法达到了$ \ tilde o（\ sqrt {t}）$遗憾，即使对于多维系统和Lazaric（2018）。 TSAC不需要先验已知的稳定控制器，并通过在早期阶段有效探索环境来实现基础系统的快速稳定。我们的结果取决于开发新颖的下限TS提供乐观样本的概率。通过仔细规定早期的探索策略和政策更新规则，我们表明TS在适应性控制多维可稳定性LQR方面实现了最佳的遗憾。我们从经验上证明了TSAC在几个自适应控制任务中的性能和效率。

The estimation of cumulative distribution functions (CDFs) is an important learning task with a great variety of downstream applications, such as risk assessments in predictions and decision making. In this paper, we study functional regression of contextual CDFs where each data point is sampled from a linear combination of context dependent CDF basis functions. We propose functional ridge-regression-based estimation methods that estimate CDFs accurately everywhere. In particular, given $n$ samples with $d$ basis functions, we show estimation error upper bounds of $\widetilde{O}(\sqrt{d/n})$ for fixed design, random design, and adversarial context cases. We also derive matching information theoretic lower bounds, establishing minimax optimality for CDF functional regression. Furthermore, we remove the burn-in time in the random design setting using an alternative penalized estimator. Then, we consider agnostic settings where there is a mismatch in the data generation process. We characterize the error of the proposed estimators in terms of the mismatched error, and show that the estimators are well-behaved under model mismatch. Finally, to complete our study, we formalize infinite dimensional models where the parameter space is an infinite dimensional Hilbert space, and establish self-normalized estimation error upper bounds for this setting.

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

众所周知，混乱的系统对预测的挑战是挑战，因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为，但对于许多耗散系统，长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题，即使状态空间是无限的维度，该集合是有限维度的。对于马尔可夫系统，长期轨迹的统计特性由解决方案操作员唯一确定，该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中，我们提出了一个机器学习框架，以学习耗散混沌系统的基础解决方案操作员，这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架，我们能够预测湍流Kolmogorov流动动力学的各种统计数据，雷诺数为5000。